ศ.โกเมน ภัทรภิรมย์ รับราชการเป็นข้าราชการอัยการ จนกระทั่งได้รับตำแหน่งอัยการสูงสุด ในระหว่างปี พ.ศ. 2530 - พ.ศ. 2536 ซึ่งก่อนหน้านั้นเคยได้ทำหน้าที่เป็นที่ปรึกษานายกรัฐมนตรี (2522-2530) และเป็นสมาชิกวุฒิสภา ในระหว่างปี พ.ศ. 2535 - พ.ศ. 2539

ต่อมาในปี พ.ศ. 2541 ได้รับแต่งตั้งเป็นตุลาการศาลรัฐธรรมนูญ จนถึงปี พ.ศ. 2544

ปัจจุบัน ท่านเป็นศาสตราจารย์พิเศษ ประจำคณะนิติศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย